OpenELM OpenELM是苹果公司推出的一系列高效开源语言模型，涵盖从2.7亿到30亿参数规模的不同版本。该模型基于Transformer架构，采用层间缩放策略优化参数分配，使用分组查询注意力（GQA）和SwiGLU激活函数等技术。OpenELM在公共数据集上预训练，并在多项自然语言处理任务中展现出色性能。模型代码和预训练权重已公开，旨在促进开放研究和社区发展。 AI项目与工具 2024年01月01日 99 点赞 0 评论 479 浏览
